Hadoop 3.2.1的安装、伪分布式部署及web无法访问踩坑

留言

安装 Hadoop 3.2.1

1. 下载


2. 将Hadoop 安装至 /usr/local/ 中

1
sudo tar -zxf ~/下载/hadoop-3.2.1.tar.gz -C /usr/local

3. 在/usr/local文件夹在找到文件，右键重命名为hadoop

4. 修改文件权限

1
sudo chown -R hadoop ./hadoop

5. 查看hadoop版本

1
2
cd /usr/local/hadoop
./bin/hadoop version

伪分布式配置

1. 修改配置文件core-site.xml

原代码：

1
2
<configuration>
</configuration>

替换：

1
2
3
4
5
6
7
8
9
10
11
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 修改配置文件hdfs-site.xml

原代码：

1
2
<configuration>
</configuration>

替换：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
    <property>
	<name>dfs.namenode.http-address</name>
	<value>0.0.0.0:9870</value>
    </property>
</configuration>

3. NameNode 格式化

1
2
cd /usr/local/hadoop
./bin/hdfs namenode -format

4. 出现has been successfully formatted，则成功.

5. hadoop3.X版本中成功不在出现Exiting with status 0

6. 开启hadoop服务

1
2
cd /usr/local/hadoop
./sbin/start-dfs.sh

7. 通过jps查看服务状态

8. 四个都出现则代表服务正常启动

9. 在浏览器中输入http://localhost:9870，3.x版本中端口已经从50070改为了9870，配置文件中已经修改了。50070访问不到，踩坑！！！多看官网，受益匪浅

10. 成功部署

11. 关闭hadoop服务

1
./sbin/stop-dfs.sh